ในโลกของระบบการสร้างข้อความที่เสริมด้วยการค้นหา เราโดยทั่วไปมักตกเป็นเหยื่อของ ปัญหาของงานสาธิต. ต้นแบบอาจดูสมบูรณ์แบบเพราะถูกทดสอบบนเส้นทางที่ราบรื่น (happy path) — ไฟล์ PDF เพียงหนึ่งฉบับที่สะอาดและคำถามสามข้อที่เลือกมาอย่างดี แต่ระบบที่ใช้งานได้จริงนั้นไม่ได้สร้างจากผลงานเฉพาะเจาะจงเช่น ความคล้ายคลึงเชิงเวกเตอร์ที่สูง; มันเกิดจากการรวมกันอย่างเข้ากันได้ของ ระบบที่ใช้งานได้จริง ไม่ได้สร้างจากผลงานเฉพาะเจาะจงเช่น ความคล้ายคลึงเชิงเวกเตอร์ที่สูง; มันเกิดจากการรวมกันอย่างเข้ากันได้ของ การรวมกันเป็นลำดับขั้นตอน ของขั้นตอนที่แตกต่างกันเก้าขั้นตอนที่ทำงานร่วมกันอย่างลงตัว

ข้อผิดพลาดของการวัดผลแยกจากกัน

การค้นหาที่มีค่าเรียกคืนสูงจะไร้ความหมายหากขั้นตอน ขั้นตอนที่ 1 (การนำเข้าข้อมูล) ขโมยข้อมูลเมตาที่จำเป็นสำหรับการอ้างอิง ระบบที่แท้จริงที่รวมกันอย่างเข้ากันได้ MVP ต้องการ "วงจรปิด" ซึ่งกลยุทธ์การแบ่งข้อมูลถูกออกแบบไว้อย่างชัดเจนเพื่อสนับสนุนความสามารถในการให้เหตุผลของโมเดลที่อยู่ด้านล่าง

การมองเห็นได้เป็นข้อกำหนด

การย้ายไปสู่การใช้งานจริงหมายถึงการนำไปใช้ซึ่ง การมองเห็นได้ ตลอดสถาปัตยกรรม พวกเราต้องเฝ้าระวังการเปลี่ยนแปลงจากคำถามไปสู่หลักฐานแล้วสู่คำตอบ เพื่อให้มั่นใจว่าพฤติกรรมของระบบสะท้อนทฤษฎีการออกแบบ โดยเฉพาะเมื่อเผชิญกับเอกสารจริงที่มีความยุ่งเหยิง